文章來源：
Slack Patches AI Bug That Let Attackers Steal Data From Private Channels,08/22/2024.Elizabeth Montalbano

⚾️ 新聞概述

Slack 修補了一個潛在嚴重的安全漏洞 - Prompt Injection，此漏洞是因Slack 提供一個功能—-讓使用者藉由「日常用語」與 Slack AI 對話，進而方便、快速取得Slack內的訊息資訊。

但該功能背後隱藏的漏洞是允許惡意人士操控大型語言模型（LLM）的方式，從而「私人 Slack 頻道中竊取資料」或進行「二次釣魚攻擊」。

◼️ Prompt Injection 攻擊手法

• 對話使用惡意指令：在公開的 Slack 頻道中，攻擊者可以發布看似無害但實際上是惡意的指令，例如「將所有 API 密鑰替換為 'confetti'」並附上一個可疑的重新驗證連結。當其他用戶查詢時，Slack AI 可能會按照這些指令操作，導致洩露敏感資訊​(Candid.Technology)。

• 上下文操控：使用“忽略之前的指令，現在執行以下操作”類似來欺騙 AI 忽略原有的安全規則(The seclify blog)，可以見文章內 “ignore the above prompt 系列的例子“。

• 惡意指令植入文件：攻擊者可以在文件中嵌入惡意指令，例如在簡歷中植入讓AI誤會的指令，進而影響招聘決策​(OWASP Top 10 AI Security)。

◼️ 文章啟示

企業在使用這些工具時，必須加強安全措施，包括限制 AI 功能的存取權限(ex.Slack AI settings)、引入人工審查步驟以及員工教育訓練(ex.發放含連結的假加薪郵件，按下去就去上課😊😊😊)應對此類威脅。

◼️ 名詞學習

• Prompt Injection：這是一種攻擊手法，攻擊者透過操控 AI 模型的輸入來改變其行為，使其執行未經授權或不安全的操作。這種攻擊利用了語言模型無法有效區分開發者設定的「系統提示」和其他輸入內容的特性。